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(57) Abstract 

The aim of the invention is to increase the capacity of processor systems 
consisting of a large number of individual processors using the MESI state 
model to maintain the cache coherence inside the processor system. To this 
end, more states are added to the MESI state model, which is otherwise limited 
to four states. In this way, the state situations inside the processor system can 
be handled in a more differentiated manner and unnecessary bus accesses can 
be avoided. The processing capacity which comes available as a result can 
be used to increase the capacity of the system. 

(57) Zusammenfassung 

Zur Erhdhung der Leistungsfiihigkeit von Prozessorsystemen 
bestehend aus einer groGen Zahl von Einzelprozessoren, das zur 
Aufrechterhaltung der Cachekoharenz innerhalb des Prozessorsystems sich 
des MESI-Zustandsmodells bedient, wird vorgeschlagen, das an sich auf 
vier Zustande begrenzte MESI-Zustandsmodell mit weiteren Zustanden 
zu erweitern. Die Zustandssituationen innerhalb des Prozessorsystems 
kdnnen auf diese Weise differenzierter behandelt und unndtige Buszugriffe 
vermieden werden. Die freiwerdende Bearbeitungskapazitat kann zur 
Leistungssteigerung des Systems genutzt werden. 
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Beschreibung 

Einrichtung zur Erhohung der Leistungsf ahigkeit von Prozes- 
sorsystemen 

5 

Die Erfindung betrifft eine Einrichtung zur Erhohung der Lei- 
stungsf ahigkeit von Prozessorsystemen gemaii dem Oberbegriff 
des Anspruchs 1 . 

10 Grolie Server bestehen aus einem Prozessorsystem mit einer 
grofcen Anzahl von Einzelprozessoren. Die Anzahl der Einzel- 
prozessoren betragt beispielsweise 16, 32, 64, 128 u.s.w.. 
solche Server sind als UNIX- oder als NT-Systeme bekannt. Die 
Einzelprozessoren haben heute meistens einen Cachespeicher 

15 bereits im Chip. Es wird daher auch von einem sogenannten On- 
Chip First Level Cachespeicher beziehungsweise von einem 
First Level Cachespeicher gesprochen. Den Einzelprozessoren 
kfcnnen daneben aufierhalb des Chips noch weitere Cachespeicher 
zugeordnet sein. Bei einem ersten weiteren solchen Cachespei- 

20 cher wird dann von einem sogenannten Off-Chip Second Level 
Cachespeicher beziehungsweise von einem Second Level 
Cachespeicher gesprochen, Neben den First und Second Level 
Cachespeichern konnen zusatzliche Chachespeicher vorgesehen 
sein, die dann beispielsweise als Third Level Cachespeicher 

25 bezeichnet werden. 

Die zusatzlichen Cachespeicher sind insbesondere verwendet, 
uin jeweils einzeln oder gruppenweise Einzelprozessoren zu ei- 
nem Cluster zusammenfassen. Heutige Standardprozessoren er- 

30 lauben nur den Ausbau von jeweils bis zu vier Einzelpro- 
zessoren. Werden mehrere solche zusatzlichen Cachespeicher 
mit zum Beispiel jeweils vier Einzelprozessoren vorgesehen, 
konnen die oben erwahnten groflen Prozessorsysteme aufgebaut 
werden. Die einzelnen zusatzlichen Cachespeicher miissen dabei 

35 cachekoharent miteinander verkoppelt sein. Die Verkopplung 
konnte Hierarchieabstuf ungen beinhalten, in denen nicht nur 
jeweils vier Einzelprozessoren, sondern jeweils auch mehrere 
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zusatzliche Cachespeicher miteinander verkoppelt werden. Als 
Ergebnis wird ein Prozessorsystem mit einer groiien Anzahi von 
Einzelprozessoren erhalten, das eine groJJe Leistungsf ahigkeit 



hat. 



Wie oben angesprochen, muss sich ein Prozessorsystem cacheko- 
harent verhalten. Hierzu ist es moglich, die Bustransaktionen 
zu beobachten und zu interpretieren. Aus der Analyse der Bu- 
stransaktionen kann geschlossen werden, in welchen Zu- 
standssituationen sich die Cachedatenbldcke der von der Bus- 
transaktion betroffenen Cachespeicher befinden. Ist bekannt, 
in welchen Zustandssituationen sich die Cachedatenblocke be- 
finden, kann dafur gesorgt werden, dass innerhalb des Prozes- 
sorsystems Cachekoharenz hergestellt bzw. auf rechterhalten 
wird. 

Die Beschreibung der Zustande der Cachedatenblocke kann mit- 
tels eines Cache-Protokolls erfolgen. Ein bekanntes Cache- 
Protokoll folgt dem sogenannten MESI-Standard. Gemafi dem 
MESI-Standard wird den einzelnen CachedatenblScken einer von 
vier vordefinierten MESI-Zustanden zugeordnet. Die vier vor- 
definierten MESI-Zustande sind: MODIFIED (M) , EXCLUSIVE (E) , 
SHARED (S) und INVALID (I). Diese Zustande sind mit zwei 
MESI-Bits kodiert darstellbar. 

MODIFIED bedeutet, dass der zugehorige Cachespeicherblock ex- 
klusiv im Cachespeicher enthalten ist, aber neu geschrieben 
worden ist. Er ist aktuell nicht im ubrigen Prozessorsystem 
bekannt. EXCLUSIVE bedeutet, dass der zugehorige Cachespei- 
cherblock nicht verandert ist. Er stimmt mit dem Inhalt des 
System-Hauptspeichers uberein. SHARED bedeutet, dass sich der 
zugehorige Cachespeicherblock noch in einem weiteren Cache- 
speicher befindet und noch gultig ist. INVALID bedeutet, dass 
der zugehorige Cachespeicherblock ungtiltig oder nicht im TAG- 
RAM des Speichers vorhanden ist. 



0052582A1_I_> 



WO 00/52582 



PCT/DE00/00285 



3 

Der Zustand eines Cachespeicherblocks kann durch einen je- 
weilig zugeordneten Ein2elprozessor uber einen Lese- und 
Schreibvorgang abge&ndert werden. Der Zustand kann auch durch 
ein systeminternes Abfragen, auch als Snooping bekannt, abge- 
andert werden. Er kann ebenso von externen Logikeinheiten, 
z.B. einem anderen Einzelprozessor oder einem Second Level 
Cachespeicher, d.h. durch ein externes Snooping, abgeandert 
werden. In jedeia Fall befindet sich zu jedem Zeitpunkt ein 
jeweiliger Cachespeicherblock nur in einem der vier genannten 
MESI-Zustande. 

Eine genauere Funktionsbeschreibung des MESI-Protokolls ist 
beispielsweise im Internet unter der Internetadresse : 
http: //www. alt avis ta .com/egi- 

bin/query?pg=q&kl=de&q=MESI&search=Search / Punkt 1, "Pentium: 
Neuerungen in der x86 Architektur", zuletzt geandert am 
28.3.1997 bzw. in der dazugehorigen Schrift im Internet mit 
der Internetadresse: http : / /plweb . htu . tuwien . ac . at /pentium , 
Punkt 2.7.1 M.E.S.I.-Protokoll offenbart. 

Eine Moglichkeit, die Cachekoharenz in einem Prozessorsystem 
mit zusatzlichen Cachespeichern zu gewahrleisten ist, si- 
cherzustellen, dass die zusatzlichen Cachespeicher eine Ober- 
menge aller Cachedatenblocke der mit ihnen direkt in Verbin- 
dung stehenden anderen Cachespeicher haben. Dazu ist es er- 
forderlich, dass bei alien Verdrangungsvorgangen eine Update- 
Anforderung zum Beispiel an einen angeschlossenen Einzelpro- 
zessor bzw. dessen Cachespeicher gerichtet und ein vom Ver- 
drangungsvorgang betroffener Cachespeicherblock zuruckgefor- 
dert wird. Fiir derartige Update-Anforderungen bzw. deren Ab- 
arbeitung ist eine Systemleistung erf orderlich, die einem An- 
wender nicht als Nutzleistung zur Verfugung steht. Die Lei- 
stungsfahigkeit des Gesamtsystems ist daher eingeschrankt . 

Aufgabe der vorliegenden Erfindung ist es daher, technische 
MaBnahmen anzugeben, durch die die Leistungsf ahigkeit insbe- 
sondere eines grolien Prozessorsystems erhoht wird. 
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Diese Aufgabe wird erf indungsgemafi durch eine Einrichtung im 
Prozessorsystem gelost, die die Merkmale des Anspruchs 1 auf- 
weist . 

Danach haben die zusatzlichen Cachespeicher nicht nur eine 
einfache Cachespeicherblock-Verwaltung iiber die Zustande M, 
E, S und I realisiert, sondern es ist eine kombinierte Zu- 
standsverwaltung zwischen jeweiligen zusatzlichen Cachespei- 
chern bzw. den Cachespeichern der Einzelprozessoren reali- 
siert. Diese kombinierte Zustandsverwaltung zeigt sich in der 
Erweiterung der MESI-Zustande des Cache-Protokolls der zu- 
satzlichen Cachespeicher. Der Vorteil ist, dass eine erhohte 
Anzahl von Update-Anforderungen (Requests) in Richtung andere 
15 Stellen im Prozessorsystem eingespart werden konnen, da auf 
Grund der erweiterten MESI-Zustande vorab entschieden werden 
kann, dass betreffende angeforderte Cachedatenblocke nicht an 
den anderen Stellen im Prozessorsystem sein konnen. Der Lei- 
stungsaufwand, der fUr diese Update-Anforderungen bisher be- 
20 notigt wurde, steht daher jetzt dem Prozessorsystem als Nutz- 
leistung zur Verfugung. Die Leistungsf ahigkeit des Pro- 
zessorsystems ist somit erhoht . 

Zu einer Erhohung der Leistungsf ahigkeit des Prozessorsystems 
25 tragt aufierdem der Umstand bei, dass auf Grund der er- 
weiterten MESI-Zustande nochmals einige Falle unterschieden 
werden konnen, in denen zwar Handlungen notig sind, die aber 
insgesamt schneller erfullt werden konnen. Beispielsweise 
gibt es Falle, in denen zwar auf Grund einer vorausgehenden 
Update-Anforderung von einem Teil des Prozessorsystems an ei- 
nen zusatzlichen Cachespeicher eine vom zusatzlichen Cache- 
speicher durchgefuhrte nachfolgende Update-Anforderung an 
niedrigere Cachehierarchien notwendig ist. Beispielsweise um 
zu erreichen, dass ein betreffender Cachespeicherblock den 
MESI-Zustand I zugewiesen bekommt. In den besagten Fallen 
kann aber auf Grund des vorliegenden erweiterten MESI-Zu- 
stands bekannt sein, dass vom betreffenden Cachespeicherblock 



30 



35 



BNSDOCID: <WO 0052582A1 J.> 



WO 00/52582 



PCT/DEOO/00285 



5 

nicht vorher noch modif izierte Daten zu iibertragen sind. In 
diesen Fallen beispielsweise kann der zusatzliche Cachespei- 
cher dem die vorausgegangene Update-Anf orderung initiierenden 
Teil des Prozessorsystems sofort mitteilen, dass die besagte 
5 MESI-Zuweisung erfolgt ist, obwohl diese Zuweisung vom zu- 
satzlichen Cachespeicher tatsachlich erst in einer an- 
schlieflenden Malinahme veranlasst wird. Das Prozessorsystem 
braucht daher nicht bis zur Bestatigung des tatsachlichen En- 
des der Update-Anf orderung warten, sondern kann sofort mit 
10 nachsten Aufgaben beginnen. 

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand 
von Unteransprtichen. 

15 Danach ist ein Prozessorsystem beziiglich seiner Cachespei- 
cherstruktur hierarchisch gegliedert, urn durch Abfangen von 
Update-Anforderungen bereits an moglichst hohen Hierarchie- 
ebenen ein Maximum an eingesparten Update-Anforderungen in 
Richtung darunter liegender Hierarchieebenen zu erhalten. 

20 

Durch Auswahl geeigneter MESI-Zustande kann die Anzahl beno- 
tigter MESI-Zustande moglichst gering gehalten werden. Bei 
einer moglichst geringen Anzahl von MESI-Zustanden ist eine 
moglichst geringe Anzahl von Kodierungsstellen bei der digi- 
25 talen Kodierung der MESI-Zustande notig. Der Hardwareaufwand 
ist dadurch reduziert. 

Nachfolgend wird die Erfindung anhand einer Zeichnung naher 
erlautert. Darin zeigen 

30 

Figur 1 eine Prinzipschaltung eines groflen Prozessorsystems 
gemaB dem Stand der Technik, 

Figur 2 ein Zustandsubergangsdiagramm von MESI-Zustanden 
gemafi dem Stand der Technik, 
35 Figur 3 ein Zustandsubergangsdiagramm von erweiterten MESI- 
Zustanden gemafi der Erfindung, und 
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Figur 4 eine Tabelle mit Situationen, in denen bei einer 

Anwendung von erweiterten MESI-Zustanden gemaft der 
Figur 3 gegenuber einer Anwendung von MESI-Zustan- 
den gemafi der Figur 2 Systemleistung eingespart und 
5 als Nutzleistung von einem Prozessorsystem gemafi 

der Figur 1 genutzt werden kann. 

Die Figuren 1 bis 4 sollen helfen, den erf indungsgemafien 
Sachverhalt darzustellen. Sie erheben keinen Anspruch auf 
10 Vollstandigkeit. Insofern bezieht sich die nachfolgende Be- 
schreibung auf eine mogliche Ausfiihrungsf orm des Standes der 
Technik und der Erfindung. 

Figur 1 zeigt zwei Gruppen mit jeweiligen Einzelprozessoren 
15 EP, die uber jeweilige erste Busse BS1 mit jeweils einem zu- 
satzlichen Cachespeicher CS verbunden sind. Die jeweiligen 
zusatzlichen Cachespeicher CS sind uber einen geme ins amen 
zweiten Bus BS2 mit einer Hauptspeicherkomponente MEM verbun- 
den. Der zweite Bus BS2 kann auch als Cache- oder System-Bus 
20 bezeichnet werden. An den zweiten Bus BS2 konnen neben den 
zusatzlichen Cachespeichern konnen alle Arten von I/O- bzw. 
Verbindungssystemen zu weiterf uhrenden Systemkomponenten an- 
geschlossen sein. Im vorliegenden Ausfuhrungsbeispiel sind 
zumindest zeichnerisch keine weiteren Systeme angeschlossen . 
25 So wie der zweite Bus BS2 als Cache- oder System-Bus bezeich- 
net werden kann, kann der erste Bus BS1 als Prozessor-Bus be- 
zeichnet werden. 

Das in der Figur 1 gezeigte Prozessorsystem ist hierarchisch 
30 aufgebaut. Aus der Sicht der zusatzlichen Cachespeicher CS 
sind in Richtung erste Busse BS1 niedrigere und in Richtung 
zweiter Bus BS2 hohere Hierarchiestuf en angeordnet. 

Die Verbindungen zwischen den Einzelprozessoren EP und dem 
35 jeweils zugehorigen ersten Bus BS1, zwischen den ersten Bus- 
sen BS1 und den jeweiligen zusatzlichen Cachespeichern CS, 
zwischen den zusatzlichen Cachespeichern CS und dem zweiten 
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Bus BS2, sowie zwischen dem zweiten Bus BS2 und der Haupt- 
speicherkomponente MEM sind jeweils bidirektional ausgebil- 
det, so dass zwischen alien Komponenten in alien Richtungen 
Daten und Codes und sonstige benotigte Inf ormationen uber- 
5 tragbar sind. 

Die Einzelprozessoren EP haben intern und extern jeweils ei- 
nen Cachespeicher, die in der Figur 1 nicht naher dargestellt 
sind. Die Cachehierarchie, die durch die beiden Cachespeicher 

10 eines Einzelprozessors EP zusammen gebildet wird, wird nach- 
folgend als Second Level Cachespeicher (SLC) bezeichnet. So- 
weit vora SLC gesprochen wird, ist darunter auch der zugehori- 
ge Einzelprozessor EP zu verstehen, der die beiden Cachespei- 
cher steuert. Umgekehrt sind, soweit ein Einzelprozessor EP 

15 angesprochen ist, die beiden intern und extern zu dem Einzel- 
prozessor EP gehorenden Cachespeicher angesprochen. 

Die Kurzbezeichnung SLC ist in den Figuren 2 bis 4 verwendet. 
Demgegenuber sind die zusatzlichen Cachespeicher CS als Third 
20 Level Cachespeicher (TLC) bezeichnet. Die Kurzbezeichnung TLC 
ist ebenfalls in den Figuren 2 bis 4 verwendet. Die Kurzbe- 
zeichnung TLC wird nachfolgend wahlweise an Stelle des Be- 
griffs "zusatzliche Cachespeicher CS" verwendet. 

25 Anforderungen (Requests) zwischen den zusatzlichen Cache- 
speichern CS und den Einzelprozessoren EP sind als interne 
Anforderungen aufzufassen, wahrend Anforderungen zwischen den 
zusatzlichen Cachespeichern CS und der Hauptspeicherkomponen- 
te MEM bzw. der am Cachespeicherbus BS2 ansonsten angekoppel- 

30 ten Komponenten, zum Beispiel I/O-Komponenten, als externe 
Anforderungen aufzufassen sind. 

Befehle, die Anforderungen und deren Abarbeitung im Prozes- 
sorsystem initiieren und bei der Auf rechterhaltung der Cache- 
35 koharenz eine Rolle spielen, konnen zum Beispiel sein: 

PREFETCH, READSHARED (RDS), READEXCLUS I VE (RDE) , READMODI FIED 
(RDM) und WRITE (WR) . Diese Befehle verursachen Obergange von 
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Zustanden, die betroffenen Cachedatenblocke auf Grund eines 
nach dem MESI-Prinzip arbeitenden Cache-Protokolls zur Auf- 
rechterhaltung der Cachekoharenz zugeordnet sind. Mdgliche 
Zustandstibergangsdiagramme sind den Figuren 2 und 3 zu ent- 
nehmen. 



Das in der Figur 2 gezeigte ZustandsUbergangsdiagramm basiert 
darauf, dass das oben angesprochene Cache-Protokoll mit vier 
MESI-Zustanden arbeitet. Das in der Figur 3 gezeigte Zu- 
standsUbergangsdiagramm basiert darauf, dass das oben ange- 
sprochene Cache-Protokoll mit erweiterten MESI-Zustanden ar- 
beitet. Im vorliegenden Fall arbeitet das Cache-Protokoll mit 
8 MESI-Zustanden. Die Zustandsubergangsdiagramme der Figuren 
2 und 3 sind aus der Sicht eines Speicherblocks eines zusatz- 
lichen Cachespeichers CS zu sehen. Die Cachespeicher der Ein- 
zelprozessoren EP haben entsprechende Zustandsubergangsdia- 
gramme . 



Die nachfolgende Beschreibung bezieht sich auf die Figur 2. 

Ausgehend von einem Zustand I eines betreffenden Cachespei- 
cherblocks eines zusatzlichen Cachespeichers CS, der anzeigt, 
dass der Eintrag des betreffenden Cachespeicherblocks ungiil- 
tig ist, fuhrt ein an den zusatzlichen Cachespeicher CS ge- 
richteter interner RDS-Befehl bezuglich diesen Cachespeicher- 
blocks letztlich zu einem Zustandsiibergang vom Zustand I zum 
Zustand S. Vorher wird aber der Eintrag, da der im zusatzli- 
chen Cachespeicher CS vorliegende Eintrag ungtiltig ist, durch 
den zusatzlichen Cachespeicher CS aktualisiert . Dazu sind 
Nachfragen bei den anderen Cachespeichern notig, urn festzu- 
stellen, wo ein aktueller Eintrag zu finden ist. Dieser Vor- 
gang wird nachfolgend auch als TLC-Command bezeichnet. Nach 
Abschluss des TLC-Commands steht der Eintrag als ein gemein- 
sam genutzter, gultiger Eintrag im zusatzlichen Cachespeicher 
CS. Entsprechendes gilt, wenn bei gleicher Ausgangslage an- 
stelle des RDS-Befehls, unter der Voraussetzung, dass eine 
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solche Moglichkeit uberhaupt gegeben ist, eine Prefetch- 
Anforderung durchgefiihrt wird. 

In den Kasten unterhalb des Zustandsubergangsdiagramms ist im 
linken Kasten eine Aufstellung der moglichen vier Zustande 
gezeigt. Daneben sind fUr den SLC die in den jeweiligen Fal- 
len moglichen Zustande gezeigt, Es sind auch die fur den TLC 
moglichen Zustande gezeigt. Da die Betrachtung von einem TLC 
ausgeht, stimmen dieses Zustande mit den in der ersten Spalte 
des Hastens angegebenen Zustande uberein. Wenn nachfolgend 
der Einfachheit halber auch nicht stets explizit angegeben, 
betreffen bei der Angabe von MESI-Zustanden jeweilige 
Cachespeicherbldcke in einem betreffenden Cachespeicher . 

Der ersten Zeile des angesprochenen Kastens ist zu entnehmen, 
dass bei einem Zustand I im TLC im SLC ebenfalls der Zustand 
I vorherrscht. Dies ist deshalb so, weil im vorliegenden Aus- 
fiihrungsbeispiel der TLC eine Obermenge zwar nicht unbedingt 
der tatsachlichen Eintrage aber der Inf ormationen liber die 
Zustande der Eintrage der angeschlossenen SLC hat. Dies hat 
zur Folge, dass im SLC stets nur gleiche bzw. nied- 
rigwertigere Zustande auftreten. Umgekehrt gilt, dass der Zu- 
stand im TLC stets gleich oder hoherwertiger ist, als der Zu- 
stand der SLC. 

Eine Ausnahme bildet der Zustand Exclusive, da dieser Zustand 
im wesentlich nur dann sinnvoll ist, wenn zumindest beabsich- 
tigt ist, den betreffenden Eintrag zu modif izieren . Da der 
TLC bei einer Exclusive-Anf orderung nicht weili, ob der ange- 
forderte Eintrag tatsachlich modifiziert wird, hat er trotz- 
dem davon auszugehen, dass der Eintrag modifiziert wird. Bei 
einer Exclusive-Anf orderung kann daher der tatsachliche Zu- 
stand in einem SLC auch M sein. Dieser Umstand spielt keine 
Rolle, weil eine Modif y-Anf orderung letztlich eine Exclusive- 
Anforderung ist, lediglich mit der Bestimmtheit , dass der 
Eintrag modifiziert wird. 
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1st ein Eintrag im TLC bereits ais S markiert und ergeht an 
den TLC ein RDS-Befehl bezuglich dieses Eintrags, andert sich 
der MESI-Zustand des Eintrags nicht. Auf der anderen Seite 
kann aber der Eintrag in einem SLC, nachdem er vom TLC geholt 
worden ist, wieder verworfen werden. Eine Abstufung des MESI- 
Zustandes bezuglich dieses Eintrags im SLC durch den zugeho- 
rigen Einzelprozessor EP ist daher moglich. Dies spielt fur 
den TLC keine Rolle, da der Eintrag selbst nicht verandert 
wurde und somit insgesamt noch Gultigkeit hat. Eine Verande- 
rung wurde der TLC bemerken, weil dazu vorher der Eintrag 
durch den betreffenden Einzelprozessor in einen E- bzw. M- 
Zustand gebracht worden sein muss. Mit dem RDS- Oder Pre- 
fetch-Befehl ist keine Berechtigung einer Modif izierung ver- 
bunden. Hinter dem Zustand S eines Eintrags im TLC kann daher 
bezuglich dieses Eintrags im SLC, das heifit allgemein in 
niedrigeren Cachehierarchien tatsachlich einer der MESI- 
Zustande I oder S fur einen betreffenden Eintrag stehen, Die- 
ser Sachverhalt ist in dem oben angesprochenen unteren linken 
Kasten in der zweiten Zeile angegeben. 

Dieses Prinzip gilt auch ftir die nachfolgenden Betrachtungen, 
weshalb dort nicht mehr stets in dieser Ausfiihrlichkeit ein- 
gegangen wird. 

Die Befehle RDE oder RDM fordern vom TLC einen Eintrag Exclu- 
sive an. Unabhangig davon, ob fur den Eintrag vorher im TLC 
der Zustand I oder S vorgemerkt ist, wird nachfolgend der 
Eintrag im TLC als Zustand E markiert. GemaB dem oben Gesag- 
ten kann im SLC ftir diesen Eintrag letztlich tatsachlich ei- 
ner der Zustande I, S, E oder M zugeordnet sein. Dieser Sach- 
verhalt ist in dem unteren linken Kasten in der dritten Zeile 
angegeben. 

Jeder der Befehle RDE oder RDM bewirkt ein TLC-Command, das 
heifit ein Bus-Request, da der TLC vor der Ubergabe des Ein- 
trags dafur sorgen muss, dass ausgehend von dem betreffenden 
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TLC in den niedrigeren Cachehierarchien des Prozessorsystems 
dieser Eintrag mit dem Zustand I markiert wird. 

Hat ein SLC einen Eintrag des TLC mit dem Befehl RDE oder RDM 
angefordert und dann modif iziert, hat er dafur zu sorgen, 
dass der modif izierte Eintrag wieder mit dem WR-Befehl in den 
TLC zuruckgeschrieben wird. Der TLC markiert daraufhin den 
modif izierten Eintrag mit dem Zustand M. 

Nach dem modifizieren des angef orderten Eintrags kann der an- 
fordernde SLC den Eintrag modifiziert behalten und als sol- 
chen kennzeichnen. Er kann den Eintrag auch zuriickschreiben 
und in Folge des Zuriickschreibens den Zustand des Eintrags 
herabstufen und ihn nur noch zum Beispiel im Zustand E ftih- 
ren. Sollte der Eintrag im SLC angefordert oder verdrangt 
werden, kann der Eintrag in entsprechender Weise entweder den 
Zustand S oder den Zustand I vom SLC zugewiesen bekommen. 
Dies ist moglich, weil der Zustand M vor den Zustanden E, S 
oder I in dieser Reihenfolge am hochstwertigen ist. Der vor- 
stehende Sachverhalt ist in dem in der Figur 2 unten links 
angegebenen Kasten in der vierten Zeile angegeben. 

Ergeht an den TLC ein RDS-, RDE- oder WR-Befehl beziiglich des 
betreffenden Cachespeicherblocks mit dem Zustand M, wird der 
Zustand zu diesem Eintrag im TLC nicht verandert. Ergeht an 
den TLC ein RDM-Befehl, kann in einer vorteilhaf ten Ausfuh- 
rungsform der Erfindung der Zustand zum betreffenden Eintrag 
an Stelle des Vermerks M der Vermerk E gefiihrt werden. Dies 
hat den Vorteil, dass in manchen Fallen der Cachespeicher- 
block nicht in unnotiger Weise gelesen wird. Wird ein 
Cachespeicherblock von einem in einer niedrigeren Cachehie- 
rarchie angeordneten Einzelprozessor EP mit RDM angefordert, 
weiii der TLC, dass der Cachespeicherblock tatsachlich veran- 
dert wird. Diese Information ist Tell der RDM-Anforderung. 
Wurde der Cachespeicherblock nicht mit Sicherheit verandert 
werden, wurde er mit dem RDE-Befehl angefordert werden. Mit 
anderen Worten, wird ein Cachespeicherblock mit einem RDM-Be- 
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fehl angefordert, hat letztlich cier anforclernde Einzelprozes- 
sor bzw. der zugehorige SLC die neuesten Daten Exclusive. 
Wird dieser Sachverhalt gleich als solcher Vermerkt, werden 
die Daten bei einem Zugriff auf diese Daten nicht erst im TLC 
gesucht, sondern sofort mit einem entsprechenden Zeitgewinn 
in einem angeschlossenen SLC. 

In der Figur 2 ist unten rechts ein zweiter Kasten gezeich- 
net, in dem die oben angesprochenen Befehle nochmals aufge- 
fuhrt sind. Neben den Befehlen stehen wesentliche Aktionen, 
die bei diesen Befehlen beziiglich des TLC bzw. SLC ausgehend 
von mdglichen unterschiedlichen Ausgangszustanden eines be- 
treffenden Cachespeicherblocks durchgef tihrt werden. Gleicher 
Kasten mit gleicher Bedeutung ist auch unter dem Zustands- 
tibergangsdiagramm der Figur 3 gezeichnet. 

In der Figur 3 ist ein gegenuber dem Zustandsdiagramm der Fi- 
gur 2 erweitertes Zustandsubergangsdiagramm zu sehen. Das Zu- 
standsubergangsdiagramm gemali der Figur 3 hat die erweiterten 
Zustande SI, ES, MI und MS. Die Zustande II, SS, EM und MM 
gehen in der angegebenen Reihenfolge von den Zustanden I, S, 
E und M des Zustandsubergangsdiagramms der Figur 2 aus. 

Der erste Buchstabe einer Zustandsbezeichnung bezieht sich 
auf den Zustand im TLC, wahrend sich der zweite Buchstabe auf 
den Zustand im SLC bzw. in einer niedrigeren Cachehierarchie- 
stufe bezieht. 

Im Ausfuhrungsbeispiel ist als Eintrag fur die Zustandsbe- 
schreibung eines Cachespeicherblocks an Stelle des Eintrags 
EE der Eintrag EM gewahlt, weil zum Beispiel ausgehend von 
den Zustanden SI bzw. SS bei Ankommen eines RDE-Befehls sei- 
tens eines Einzelprozessors EP an den TLC der TLC damit rech- 
nen muss, dass wenn ein Einzelprozessor EP einen Cachespei- 
cherblock Exclusive anfordert, er ihn moglicherweise auch mo- 
difiziert. Da der TLC die Obermenge iiber die Zustandssitua- 
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tion im System zu behalten hat, tragt er sich die neue Situa- 
tion als EM ein. 



Im Falle, dass der betreffende Cachespeicherblock gleich mit 
5 einem RDM-Befehl von einem Einzelprozessor EP angefordert 
wird, ist die Situation soweit klar, dass der angeforderte 
Cachespeicherblock modifiziert wird, Der Eintrag EM beziiglich 
des angeforderten Cachespeicherblocks ist daher f olgerichtig. 

10 Insgesamt wird mit dieser Methode eine Optimierung des Zu- 

standsiibergangsdiagramms erzielt, weil eine Zustandssituation 
nicht dargestellt werden muss, fur deren datentechnische Co- 
dierung moglicherweise eine zusatzliche Bitstelle be- 
reitgestellt werden muss. Acht Zustande lassen sich mit drei 

15 Bitstellen kodieren. Bei neun und mehr Zustanden sind mehr 
als drei Bitstellen notig. 

Bei einer Exclusive-Anf orderung (RDE-Befehl) eines Cache- 
speicherblocks durch einen Einzelprozessor EP ist es, wie 

20 oben angesprochen nicht zwingend, dass der Cachespeicherblock 
modifiziert wird. Der anfordernde Einzelprozessor EP hat den 
betreffenden Cachespeicherblock Exclusive und kann letztlich 
alle moglichen Varianten der Behandlung durchfiihren. Er kann 
ihn beispielsweise an andere Stellen weitergeben oder ihn 

25 verdrangen. Im ersten Fall hatte der TLC fur den betreffenden 
Cachespeicherblock den Zustand ES reservieren miissen, im 
zweiten Fall als EI. Alle diese Falle deckt der TLC mit der 
Zustandsbeschreibung EM ab, weil diese die Sicherheit gibt, 
dass beziiglich des betreffenden Cachespeicherblocks auf jeden 

30 Fall dann erhalten wird, wenn er sich an den betreffenden 

Einzelprozessor EP wendet. Die vorgenannten Falle sind in dem 
linken unteren Kasten der Figur 3 in Zeile funf vermerkt. 

Die Zeile 5 des linken unteren Hastens der Figur 3 entspricht 
35 der Zeile 3 im linken unteren Kasten der Figur 2. Aulierdem 
entsprechen in der angegebenen Reihenfolge die Zeilen 1, 3 
und 8 des unteren linken Kastens der Figur 3 den Zeilen 1, 2 
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und 4 des linken unteren Kastens der Figur 2. Den Entspre- 
chungen sind jeweils die oben erwahnten Prinzipien zu Grunde 
gelegt . 

5 Da die Prinzipien, die dem Zustandsiibergangsdiagramm der Fi- 
gur 2 zu Grunde liegen, auch dem Zustandsubergangsdiagramm 
der Figur 3 zu Grunde liegen, beschrankt sich die Beschrei- 
bung des Zustandsttbergangsdiagramms der Figur 3 im wesentli- 
chen auf die Beschreibung der Unterschiede . Die einzelnen Zu- 
10 standsiibergange und die Einnahme von Zustanden bei Vorliegen 
entsprechender Befehle konnen der Figur 3 entnommen werden. 

Gemafl des Zustandsubergangsdiagramms der Figur 3 gibt es be- 
zliglich eines TLC zwei Shared-, zwei Exclusive- und drei Mo- 

15 dif ied-Zustande. Bei Pref etch-Anf orderungen ist beispiels- 
weise klar, dass ein in den TLC geholter Eintrag nur im be- 
treffenden TLC vorhanden ist. Fur diese Situation trifft die 
Zustandsbeschreibung SI zu. Wird dieser Sonderfall, aufter dem 
es noch andere geben kann, extra markiert, kann bei Anforde- 

20 rungen nach diesem Eintrag auf eine Anfrage auf anderen Ebe- 
nen verzichtet werden. Dadurch wird auf Seiten der ersten 
Busse BS1 Kapazitat frei, die fur andere Bearbeitungen durch 
die Einzelprozessoren EP zur Leistungssteigerung des Prozes- 
sorsystems genutzt werden konnen. 

25 

Die Zustandssituation SI ist im linken unteren Kasten der Fi- 
gur 3 in Zeile 2 notiert. 

Bei den Exclusive-Zustanden gibt es bezuglich der TLC den zu- 
30 satzlichen Zustand ES. Dieser Zustand wird beispielsweise er- 
halten, wenn ein im TLC Exclusive vorliegender Eintrag von 
einem SLC Shared gelesen wird. In diesem Fall behalt der TLC 
den Zustand E bei und vermerkt den Cachespeicherblock bei 
sich fur den SLC als Zustand S. Der TLC weift dann, dass der 
35 Zustand im SLC tatsachlich nur S oder I sein kann. Der Zu- 
stand kann nicht M oder E sein, weil eine solche Berechti- 
gungsanfrage nicht ergangen ist. Der Eintrag kann also auf 
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keinen Fall verandert sein. Der Vorteil durch dieses Wissen 
wird im Zusammenhang mit der Figur 4 naher erlautert. 

Die moglichen Zustande fur die SLOEbene sind im linken un- 
teren Kasten der Figur 3 in Zeile 4 angegeben. 

Neben der Zustandsbeschreibung MM sind die erweiterten Zu- 
standssituationen MI und MS in der Figur 3 angegeben. 

Hatte sich ein SLC einen Eintrag des TLC Exclusive geholt, 
modifiziert und dann mit dem WR-Befehl in den TLC zuruckge- 
schrieben, dann nimmt der TLC fur diesen Cachespeicherblock 
den Zustand MI ein. Der SLC hat den Eintrag verdrangt und ist 
dort nicht mehr giiltig. In die gleiche Situation gelangt der 
TLC, wenn er einen modif izierten Eintrag hatte, also fur die- 
sen Eintrag im Zustand MM war, und auf den Eintrag nochmals 
mit einem WR-Befehl geschrieben wird. Auch dann nimmt der TLC 
den Zustand MI ein. In diesem Zustand weifc der TLC, dass der 
betreffende Eintrag nicht mehr beispielsweise bei einem SLC 
sein kann. 

Diese Situation ist im linken unteren Kasten der Figur 3 in 
der Zeile 6 notiert. 

Schlielllich gibt es noch den erweiterten Zustand MS, der un- 
abhangig davon auftritt, ob fur einen SLC der Zustand I oder 
M eingetragen ist. Der Zustand MS tritt auf, wenn von einem 
SLC Shared gelesen wird, Wie oben schon mehrfach angespro- 
chen, kann aber ein SLC nach einer entsprechenden Aktion ei- 
nen logisch gesehen herabgesetzten Zustand verursachen, so 
dass letztlich hinter der Zustandsbeschreibung MS fur einen 
betreffenden SLC einer der Zustande I oder S stehen kann. 

Dieser Sachverhalt ist im linken unteren Kasten der Figur 3 
in Zeile 7 notiert. 
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terschied, ob tatsachlich der Zustand SI oder SS vorgelegen 
hat. 



Beim RDE-Befehl ist beim vierer Zustandsmodell sowohl beziig- 
5 lich des TLC als auch des SLC dafur zu sorgen, dass der dem 
betreffenden Cachespeicherblock zugewiesene Zustand von S 
nach I abgeandert wird. Der betreffende Cachespeicherblock 
ist dann Exclusive fur an die Seite der Einzelprozessoren EP 
notwendig. Dies belastet den Prozessorbus, der deshalb fur 
10 andere Aufgaben zeitweise nicht zur Verfttgung steht. 

Beim erweiterten Zustandsmodell ist bezuglich des RDE-Befehls 
nicht immer eine Anforderung an die Prozessorseite notig. War 
zum Beispiel der vermerkte Zustand bezUglich des an- 

15 geforderten Eintrags beim TLC SI, ist es nicht mehr notig, 

vom TLC aus daftir zu sorgen, dass ein betreffender SLC seinen 
Zustandsvermerk zum betreffenden Cachespeicherblock in den 
Zustand I abandert. Der TLC weifi bereits, dass der betref- 
fende Cachespeicherblock auf Seiten der Einzelprozessoren als 

20 I eingestuft ist. In diesem Fall wird also die Prozessorseite 
nicht mehr extra belastet. Letztlich steht dadurch mehr Pro- 
zessorleistung fur andere Aufgaben zur Verftigung. 

Ist der Zustand des vom RDS- bzw. RDE-Befehl betroffenen Ein- 
25 trags im TLC E, ist es beim vierer Zustandsmodell und RDS-Be- 
fehl, bevor daftir gesorgt wird, dass ein betreffender 
Cachespeicherblock im TLC und in den niedrigeren Cachehierar- 
chien den Zustand S zugewiesen bekommt, erf orderlich, nach- 
zusehen, ob nicht irgendwo im Prozessorsystem zwischenzeit- 
30 lich neuere Daten zum betreffenden Cachespeicherblock vor- 
liegen, da, wie oben schon erwahnt, ein als Exclusive ange- 
forderter Cachespeicherblock spater bei entsprechenden wei- 
teren Aktionen durch die anfordernde Einheit in einen der Zu- 
stande M, E, S oder I gebracht werden konnte. Die Prozessor- 
35 seite wird daher in diesem Fall nicht produktiv belastet. 
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Entsprechendes gilt beim RDE-Befehl mit dem Unterschied, dass 
die SLC-Einheiten dazu gebracht werden miissen, den betreffen- 
den Cachespeicherblock mit dem Zustand I zu kennzeichnen. 
Auch hier wird die Prozessorseite unproduktiv belastet. 

Mit dem erweiterten Zustandsmodell kann die Leistung des Pro- 
zessorsystems gesteigert werden, indem eine unproduktive Lei- 
stung eingespart wird. Hat beim erweiterten Zustandsmodell 
ein Cachespeicherblock den Zustand ES zugewiesen und erfolgt 
bezuglich dieses Cachespeicherblocks ein externer RDS-Befehl, 
konnen weitere Veranlassungen seitens des TLC in Richtung 
niedrigere Cachehierarchien entfallen. Uber die SLC ist be- 
reits bekannt, dass der betreffende Cachespeicherblock dort 
schon im Zustand S gefuhrt ist. Durch die Tatsache, dass der 
betreffende Cachespeicherblock in den niedrigeren Cachehier- 
archien im Zustand S gefuhrt ist, ist bekannt, dass in den 
niedrigeren Cachehierarchien keine Modif izierung bezuglich 
des betreffenden Cachespeicherblocks passiert ist. Es konnen 
also von Seiten der niedrigeren Cachehierarchien her keine 
aktuelleren Daten geholt werden. Es braucht somit weder nach- 
geprUft werden, ob aktuellere Daten vorliegen, noch muss da- 
fUr gesorgt werden, dass eine Anderung der Zustands- 
kennzeichnung erfolgt. 

Ausgehend von der Zustandskennzeichnung ES beim TLC und einem 
vorliegenden externen RDE-Befehl ist, da, wie oben beschrie- 
ben, bekannt ist, dass keine neueren Daten vorliegen konnen, 
lediglich dafiir zu sorgen, dass der Cachespeicherblock in den 
niedrigeren Cachehierarchien mit I gekennzeichnet wird. Dafiir 
ist nur eine einfache Anforderung an die Seite der niedrige- 
ren Cachehierarchien erforderlich. Insgesamt ist die unpro- 
duktive Leistung des Prozessorsystems geringer, als wenn, wie 
im vierer Zustandsmodell, noch zusatzlich vorher nachgeprUft 
werden muss, ob mdglicherweise noch neuere Daten vorliegen. 

Besonders deutlich wird das Einsparungspotential in dem Fall, 
in dem im TLC CachespeicherblScke im Zustand M gefuhrt sind. 
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BezUglich des vierer Zustandsmodells, bei dem keine tieferge- 
hende Unterteilung des Modif ied-Zustands getroffen ist, gilt 
sowohl fur den RDS- als auch fiir den RDE-Befehl, dass stets 
alle Maflnahmen getroffen werden mussen, um entweder zu pru- 
5 fen, ob nicht noch neuere Daten existieren, bevor dann veran- 
lasst wird, dass der betreffende Cachespeicherblock mit dem 
Zustand S bzw. I gekennzeichnet wird. 

Das erweiterte Zustandsmodell laiit eine Dif f erenzierung des 
10 Modif ied-Zustands zu. Im vorliegenden Ausfiihrungsbeispiel ist 
der Modif ied-Zustand in die Zustande MI, MS und MM unter- 
teilt. Im Falle, dass ein externer RDS-Befehl an den TLC ge- 
richtet wird, kann in den Fallen MI und MS in Analogie zum 
friiher Gesagten jegliche Anforderung an die Seite niedrigere 
15 Cachehierarchien entfallen. Bei Vorliegen eines RDE-Befehls 
kann braucht zumindest nicht nachgepruft werden, ob neuere 
Daten existieren. Es genugen einfache Anf orderungen in Rich- 
tung niedrigere Cachehierarchien, durch die dafiir gesorgt 
wird, dass in den niedrigeren Cachehierarchien die Zustands- 
20 kennzeichnung zum betreffenden Cachespeicherblock in I abge- 
andert wird. 

In der Figur 4 sind die Positionen, bei denen Maflnahmen gar 
nicht oder nur eingeschrankt notwendig sind, mit einem Ausru- 
25 fezeichen gekennzeichnet. In Bezug auf diese Positionen kon- 
nen unproduktive Belastungen des Prozessorsystems eingespart 
werden. 
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Patentanspruche 

1. Einrichtung zur Erhohung der Leistungsf ahigkeit von Pro- 
zessorsystemen bestehend aus einer groBen Zahl von Einzelpro- 

5 zessoren und mehreren Cachespeichern, die zur Aufrecht- 

erhaltung von Cachekoharenz untereinander ftir die Verarbei- 
tung eines nach einem MESI-Standard arbeitenden Cache-Proto- 
kolls ausgelegt sind, dadurch gekennzeichnet, dass 
das nach dem MESI-Standard arbeitende Cache-Protokoll in der 

10 Weise konfiguriert ist, dass bei der Anzeige von MESI-Zu- 

standen wenigstens zum Teil eine Mehrf achanzeige gegeben ist 
in der Weise, dass wenigstens jeweils sowohl der MESI-Zustand 
eines betreffenden Cachespeichers (CS) als auch der MESI-Zu- 
stand eines daran angeschalteten Einzelprozessors (EP) be- 

15 ziehungsweise eines daran angeschalteten anderen Cache-Spei- 
chers (CS) angezeigt ist. 

2. Einrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, dass das Prozessorsystem Einzelprozessoren 

20 (EP) hat, die wenigstens zum Teil zugehorige erste bzw. erste 
und zweite Cachespeicher haben, und dass das Prozessorsystem 
zusatzliche Cachespeicher (CS) hat, die wenigstens in einer 
ersten Hierarchiestuf e angeordnet sind und an die einzeln 
oder gruppenweise, rein oder gemischt Einzelprozessoren (EP) 

25 bzw. weitere zusatzliche Cachespeicher (CS) angeschaltet 
sind. 

3 . Einrichtung nach Anspruch 1 oder 2, dadurch ge- 
kennzeichnet, dass durch die Mehrf achanzeige MESI-Zu- 

30 standskombinationen wie II, SI, SS, EM, ES, MI, MS oder MM 
angezeigt sind. 
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